大数据企业跌入了“幻灭的低谷”？

近期，IEEE Engineering Management Review刊登了来自Singh N,Lai K H,Vejvar M等合作完成的文章“Big data technology: Challenges, prospects and realities（大数据技术：挑战、前景和现实）”，中国人民大学金融科技研究所（微信ID：ruc_fintech）对文章核心内容进行了编译，文章试图通过将大数据的观念，挑战和机会交织在一起来向企业展示大数据的价值。 

来源 | IEEE Engineering Management Review

编译 | 陈鹏

我们试图通过将大数据的观念、挑战和机会交织在一起向企业展示大数据的价值。 虽然企业意识到大数据对其业务的价值，但在数据质量和使用方面大数据的运用仍然存在挑战。管理人员可能缺乏应用程序在大数据生态系统中如何相互关联以及其商业价值的知识。我们总结了一项研究结果，该研究探讨了新兴商业对大数据的看法。 我们研究了20家年收入超过5亿美元的大型企业的现行做法，基于高管的看法来获得研究结果。文章提供了企业如何在各个方面发展其大数据技术的见解，并确定了需要进一步研究的关键想法，以更好地理解从业者和研究人员可能同样在努力解决的问题。

介绍

企业努力理解并有效利用他们可获得的信息。最近，由于数据分析和大数据的出现，他们对数据的关注度更高。

大数据存储在各种数据库管理系统中，这些数据库包含的数据量通常是PB级别的。在不同的数据分析案例中，数据管理涉及不同的技术和操作。

数据分析非常有利于改善企业运营。在当代商业世界中更是如此，其中可用数据是庞大并且是非结构化的。大数据和数据库系统的架构非常复杂，它们可能因用户而异。

Hadoop的大数据框架是一个开源软件生态系统。各种解决方案提供商都在该领域运营。例如，Oracle的大数据设备（BDA）和Cloudera提供的配置可根据用户要求进行调整。配置可能会改变，但最终用途主要涉及数据存储、数据处理和数据可视化。

私募股权基金在大数据方面的投资增加证明，大数据应用的商业利益正在增长。预计未来几年大数据投资的复合年增长率（CAGR）将达到17％，到2020年将达到760亿美元。随着大数据市场的发展，一些纯粹的大数据初创企业将被收购。信息技术支持服务（ITES）企业之间的激烈竞争是这些收购的主要驱动力。目前，支持大数据计划的硬件和基础设施的销售额占总投资的近70％。这些投资针对大型计算机服务器、路由器、网关和不同的网络组件。展望未来，随着产品公司积极推出在大数据平台上运行的创新软件产品，软件供应商的份额将会增加。了解它们是什么以及驱动它们的因素对于利用此类平台的组织至关重要。

大数据-背景

考虑采用大数据分析的高管们正在经历越来越多的幻灭，他们意识到大数据可能无法实现这个唾手可得的目标。

Gartner将大数据定位于炒作周期。炒作周期是指反映行业情绪和采用率的5至10年的技术采用过程。在定义技术进步的创新被触发之后，行业期望达到“夸大预期的顶峰”。这些期望最终让位于对限制和实施的认识，从而跌入“幻灭的低谷”。

随着技术的成熟，大数据实施变得更容易，应用也更加明显。这种情况导致期望逐渐增加——Gartner称之为“启蒙的斜坡”。最终出现“生产力的高原”，其中技术及其运用开始成为主流。

Gartner观察到，目前大数据炒作即将进入“幻灭的低谷”。企业正在意识到企业自身在运营中实施大数据解决方案的局限性和技术难度。这种情况也表明，大数据讨论不再是炒作，而是实际应用的实践。技术公司现在提供大数据解决方案，这些解决方案是传统分析流程的替代或补充。

当涉及到大数据时，公司是如何努力的

但究竟是什么导致了“幻灭的低谷”呢？企业在尝试实施大数据时会遇到什么困难？

许多研究调查了技术采用的影响，并讨论了大数据技术在供应链管理、基因组研究、汽车技术、消费者行为和网络安全领域的运用。我们展示了一些相关的工作，它有助于理解大数据技术的影响，并突出公司目前面临的最大问题。

现存的文献表明，企业正在努力维护数据和提高质量。企业每天生成和使用的数据量不断增加。公司需要确保数据质量才能为其业务获得最大价值。阻碍公司实现数据高质量的障碍已被广泛讨论，缺乏责任、奖励、控制程序、员工能力和软件用户友好是数据提高质量最主要障碍。企业需要提高他们对这些障碍的认识。

作为一个相对新颖的跨学科研究和实践领域，大数据技术几乎涉及所有商业领域，包括自动化、工程、信息技术和数据分析，它们还会影响许多组织功能。

大数据可以改善消费者行为知识，特别是在他们决策过程的各个阶段。当数据处于“百亿亿”级别时，获取和维护元数据的正式自动化系统则至关重要。如果公司在创建过程中没有跟踪数据，就会失去有价值的元数据。在整个数据分析管道中携带元数据的过程称为“数据源”。

麦肯锡预测大数据会影响就业市场，企业越来越渴望雇用具有深入分析理解数据和处理数据的人才来利用他们的数据。

现任管理人员需要提高他们的数据素养以维持就业，关键的特定技能包括从所提供的数据中得出结论和商业见解的能力。

如果想要保持竞争力，企业不能忽视从数据中产生价值的发展趋势。盲目相信错综复杂的算法的结果也存在产生错误的假设相关性和因果关系的风险。这种趋势不仅影响大数据的采用和实施，而且影响大数据创新。

新兴技术可以实现高度颠覆性的商业模式，这推动着企业开展数字业务创新。大数据可以带来的变化在多个行业得到证明，其中一个例子是健康科学。以智能设备为例，用户的健康状况测量数据现在可以在云中存储、分析和共享。来自数百万人的这些健康数据对于医学专家和计算机科学家来说具有很大的潜在价值。还有很多类似的例子，有些是显而易见的，有些则不那么明显。

另外一个主要的问题不是大数据本身，而是企业如何使用大数据获得收益。企业应该意识到大数据不仅仅是一种特定的技术，事实上，他们需要针对潜在的收益来评估企业自身的投资与组织承诺。

企业希望了解大数据技术可以解决的具体业务问题。业务成果、技能组合、数据和基础架构将决定大数据运用的成败。正如我们迄今为止的讨论所证明的那样，存在的很多问题要求企业更好地掌握大数据。

管理者如何意识到大数据实施的障碍？我们已经描述了一些复杂的原因。到达并跨过“幻灭的低谷”，也许需要在理论与实践之间架起衔接的“启蒙的斜坡”。

为了解决其中一些问题，我们进行了一项调查，以评估高级管理层对大数据的优点以及存在问题的看法。

研究方法

本研究的目的是利用调查来探索新兴商业对大数据的看法。我们研究了20家大型企业的现行做法，其中每家企业的年收入都超过5亿美元。

该调查是通过在线工具进行的，邀请了在运营、销售、人力资源和技术领域处于领导地位的高级管理人员作答。由于我们打算提供战略概述，参与者包括来自制造、服务和咨询公司的副总裁、高级副总裁、合作伙伴和CXO。

调查工具是根据现有文献开发的。它由两部分组成：第一部分评估大数据实施的操作问题，包括十个问题；第二部分则更多针对高级管理人员，通过另外四个问题评估大数据的战略意义。

我们从第一部分获得了来自20个不同企业的43名受访者的样本，第二部分获得了更多高级管理人员的回复，共31个。

结果与讨论

与数据质量相关的问题

正如目前的文献所建议的那样，商业见解的形成很困难。值得注意的是，图1显示，样本的大小存在差异。一个原因是并非所有公司都在利用大数据应用程序以生成业务见解。实际上，大多数人都专注于使用大数据报告任务。

报告方法和数据来源

最常用的大数据应用程序总结在图2中。许多公司在运营中经常使用大数据清理工具。这表明公司在数据质量以及将数据转换为可管理形式上仍然存在问题。鉴于数据清理是任何成功的大数据流程的第一步，这个问题可能会贯穿整个大数据流程，因此不应掉以轻心。

大数据在商业上的另一个运用是“内存中”处理。功能更强大但价格合理的处理器可以提供更大的存储容量。因此，分析师现在可以将大数据用于更快的数据处理。

在着手开展任何有意义的数据分析项目之前，面临的最大挑战是数据清理和数据标准化。数据也需要整合，因为它们通常来自不同的渠道。软件供应商应将这两者视为重要的商机。

数据可能没有“准备好”就直接被分析。例如，销售人员在不同字段中输入不正确的值或者客户没有提交完整的记录。这些情况都需要准备好解决策略，以便清洗和标准化名称、年龄和地址等字段中的数据。同样，产品目录数据（包括产品标识代码，批号和型号）也需要标准化。 为了应对这些挑战，软件供应商正在开发更新的数据清理和标准化解决方案。

大数据实施的障碍 - 大数据的规模和复杂性

图3中总结了大数据实施的主要障碍。71％的受访者表示“实施正确的解决方案以准确分析和解释数据”是运用大数据面临的最大问题之一。几乎同样比例的受访者（65％）认为“识别要收集的数据”是他们公司在大数据实施中的一个关键问题。只有三分之一的受访者还在挣扎于捕捉数据过程，这表明技术能力和组织惯例日趋成熟，它还表明人们越来越意识到数据的潜在价值。另外利用大数据应用程序的障碍与此大致相同。

对于已经运用大数据的公司而言，确定适当的风险参数和大数据流程指标并不是一个重大挑战（见图4）。然而，这些公司似乎确实在解决两个关键问题。首先，三分之二的受访者认为他们无法为某些问题确定和实施合适的大数据解决方案。这一结果表明企业仍然缺乏技术知识。其次，大约74％的受访者很难及时对大数据产生的见解做出反应。这一结果意味着大数据利用可能存在高层的不确定性。鉴于采用大数据技术和分析的速度和时间都很快，因此企业难以确定最佳解决方案并对大数据洞察力作出适当反应。虽然有多家大数据解决方案供应商旨在减轻这些决策难题，但鱼龙混杂的现状可能会给企业带来困惑。

像Hadoop这样的开源大数据框架提供了各种解决方案提供商，这为潜在的大数据用户带来了进一步的困惑。

当让受访者对大数据实施中的运营挑战从5级（最困难）到1级（最不困难）进行排序时，31位高级管理人员一致认为数据清理和准备是他们当前大数据实践中的最大问题（见图5）。许多公司仍然在努力应对大数据运营的技术复杂性。

有趣的是，大数据应用的广泛和人才缺乏一般被视为是压力较小的问题，但受访者的答案并不一致。大多数公司都不认为缺乏人才是一个大问题。

有一些公司发现雇用对大数据和数据分析有深刻理解的员工非常困难（见图6）。但根据我们的样本，我们无法就受访者答案的不一致是否受到行业、地理区域或组织问题的影响做出任何明确的陈述。最后，公司缺乏信息技术服务（ITES）并不被视为一个主要问题。

大数据的增长——更大的容量，更好的视角及HR分析

我们还询问了企业未来在大数据上的支出（见图7）。在未来两年内，大约50％的企业会为大数据项目分配6-10％的销售额。另有相当大比例的公司（37％）目标是分配11-21％的投资额。很少有公司计划投资额大大高于或低于平均水平，约6％的公司只投资1-5％，4％的公司投资21-40％的销售额用于建立大数据能力。

没有公司计划花费超过40％的销售额。总的来说，这些公司一致认为大数据应用需要投资 ——没有一家受访者声称它不打算进一步投资大数据。

在考察大数据战略方面的投资时（图8），预计平均投资最高的是增加产能。很大一部分公司（32％）的目标是投资将洞察付诸实践的能力，不过平均投资额相对较低，约占销售额的8％。通过投资来增强管理者的意识、增加管理者的知识储备来改善大数据运用的高层支持现状，这也是相当数量的公司关注的问题。鉴于现任管理人员的大数据素养较低，对于希望保持竞争力的公司来说，这可能是一个至关重要的问题。

所有公司似乎都渴望通过持续投资来改善目前的应用。很有意思的是，似乎绝大多数公司都希望在人力资源（HR）部门实施大数据应用，使其成为大数据运用的主要增长点之一。虽然目前仍处于欠发展阶段，但人力资源分析仍有可能通过向公司提供人员相关事项、雇用政策、选择标准和员工绩效的反馈，为公司提供卓越的业务洞察力，从而使公司更容易获得和留住人才。

大数据的创新能力在很大程度上被低估，只有少数公司计划利用大数据来改善与人有关的事务。

结论

毫无疑问，企业越来越多地转向“幻灭的低谷”，因为他们正在努力在其组织中应用大数据。

绝大多数高管认为大数据面临的最大挑战是正确运用。管理人员并不了解每个应用程序如何与大数据生态系统中的其他应用程序相关，以及企业可以从应用程序中获得哪些好处。他们还发现采用大数据解决方案的一个主要障碍是确定最合适的解决方案提供商。尽管高管们重视大数据的使用，但几乎所有人都同意他们可以更好地利用大数据。几乎所有高管都认为大数据对企业的可持续发展和增长非常重要。

但他们可以做些什么来解决这些问题并充分利用他们的数据呢？

通过将我们的调查结果与文献中的大数据实施问题联系起来，我们可以得出的结论来缓解商业分析向数据驱动方式转型的痛苦，并帮助企业进一步提高数据分析能力。

1.数据质量

为了从数据中获取洞察力，企业需要确保数据处于可以应用分析的质量水平。更好的数据存储过程有助于提高整体数据质量，从而有助于降低数据清理成本以提高数据质量。例如，如果按名称标识供应商，并以不同方式输入供应商，那么对每个供应商的采购数据执行任何分析都非常困难并且需要花费大量时间。另一个例子可能是日期格式。它可以是dd/mm/yy或mm/dd/yy格式。在执行分析之前必须使数据统一，如果数据量很大，如超过8000万条记录，则需要花费巨大的精力和开支。

2.内部能力

通过建立内部人才库，企业将能够更好地利用他们的数据并产生更好的见解。企业可以通过投资熟练的数据分析师并提供相关培训来提高员工的数据素养，从中获益更多。

3.外部支持

如果企业的目标是充分利用其数据，那么内部大数据能力是必须的，因为对遗留系统的操作可能会很困难。考虑到该领域的新兴性质，外部专家和服务提供商可以支持他们建立大数据生态系统并使过渡更容易。

4.协调一致

如果没有高层管理人员的支持，企业就不可能期望从大数据分析中获得最大价值。使他们的总体战略与数据保持一致将增加他们产生适当见解的机会。获得管理层支持需要从提高意识和建立管理知识开始。

5.运营效率

即使企业已经在使用数据分析，但运营中存在很多尚未开发的潜力的可能性依然很高。通过分析，企业可以密切监控技术改进和应用，并准备好重新思考当前的解决方案。

6.创新

虽然大数据在运营改进中的优势无可争议，但数据分析的创新能力仍然是许多公司的未知领域。为数据驱动创新提供激励可以帮助企业获得额外的收益。

7.市场

大数据解决方案将继续存在。随着信息技术的不断发展和计算能力的提高，很难说数据分析的应用程序能走多远。如果公司尚未投资大数据能力，他们可能需要重新考虑他们的战略，以免在竞争中处于劣势。

总体而言，大数据存在希望。高管意识到这一点，但他们也很确信大数据运用依然存在障碍。克服障碍需要关注和投资，本文从不同视角介绍了一些观点。对于这项新兴创新，哪些有效，哪些无效，未来需要进行更多调查和研究。

以下为文章部分截图

……

获取完整文章

请后台回复“大数据”

获取下载链接

END

编辑/陈鹏

审校/匡益成

责编/齐庆武

【延伸阅读】

关于我们

中国人民大学金融科技研究所（以下简称 “研究所”），英文名“FinTech Institute of Renmin University of China”，简称“RUC FinTech Institute” ，是专注于金融科技理论、应用与政策的新型智库和研究机构，也是人民大学金融科技学科“双一流”建设的延伸科研平台。研究所充分利用中国人民大学在金融、经济、管理、统计、法律以及计算机科学等方面的跨学科优势，打破学科壁垒，加强交叉融合，不断推进金融科技的前沿研究。研究所坚持理论联系实际，注重应用成果转化，不断加强学界、业界和政策部门的良性互动，重点打造一个“产学研政”四位一体的多元化平台，为推动金融科技行业健康可持续发展提供决策参考。

加入群聊

为了增进与粉丝们的互动，研究所建立了金融科技微信交流群，欢迎大家进群参与。

入群方法：后台回复“加群”，加小助手为微信好友,添加时备注个人姓名（实名认证）、单位、职务等信息，经群主审核后，即可被拉进群。

中国人民大学金融科技研究所

扫码关注我们

Research portal for all FinTech trends and policies.